Definition Was ist Chain-of-Thought (CoT)?

Chain-of-Thought ist eine Prompting-Methode für Sprachmodelle. Sie fordert das Modell dazu auf, den Lösungsweg schrittweise zu erklären. Der Anwender erhält Einblick in die „Gedankenkette“ der KI. CoT trägt dazu bei, die Qualität und die Nachvollziehbarkeit der Ergebnisse von KI-Systemen zu verbessern.

Die deutsche Übersetzung des englischen Begriffs Chain-of-Thought, abgekürzt CoT, lautet Gedankenkette. Im Bereich der Künstlichen Intelligenz (KI) wird der Begriff Chain-of-Thought für eine Prompt-Engineering-Technik verwendet. Das Prompt Engineering, auch als Prompt Design bezeichnet, beschäftigt sich damit, Anweisungen (Prompts) für KI-Modelle so zu gestalten und zu optimieren, dass die Modelle bestmögliche Ergebnisse und Lösungen erzielen.

Die Prompt-Engineering-Technik Chain-of-Thought fordert KI-Sprachmodelle dazu auf, nicht nur die Lösung selbst, sondern den kompletten Lösungsweg einer mehrstufigen Aufgabenstellung schrittweise darzulegen und zu erklären. Das Sprachmodell wird dazu veranlasst, eine Reihe von Zwischenschritten zu generieren und in natürlicher Sprache auszugeben. Der Anwender erhält Einblick in die „Gedankenkette“ des Sprachmodells. Dadurch ist für ihn besser nachvollziehbar, wie eine Lösung oder ein Ergebnis zustande gekommen ist.

Neben einer verbesserten Transparenz kann CoT bei Sprachmodellen ab einer bestimmten Größe und Parameteranzahl dazu beitragen, ihre Leistungsfähigkeit und Ergebnisqualität zu steigern. Als besonders sinnvoll und wirksam hat sich die Prompting-Technik der Chain-of-Thought bei komplexen, mehrstufigen Problemen oder Fragestellungen aus Bereichen wie der Arithmetik, logischem Schlussfolgern, gesundem Menschenverstand und symbolischem Denken erwiesen. Bei aktuellen Sprachmodellen oder KI-basierten Chatbots ist Chain-of-Thought häufig per Default aktiviert. Dadurch erklären die Modelle oder Chatbots bei mehrstufigen Aufgabenstellungen in der Regel von sich aus und ohne besondere Aufforderung den Weg zur Lösungsfindung.

Die Funktionsweise von Chain-of-Thought

Bei einem herkömmlichen Prompt wird dem Sprachmodell eine Frage oder eine Aufgabe gestellt, auf die das Modell direkt mit der Antwort oder dem Ergebnis reagiert. Beim Chain-of-Thought-Prompting wird der Frage oder der Aufgabenstellung eine zusätzliche Aufforderung hinzugefügt. Diese kann beispielsweise „erkläre deine Antwort Schritt für Schritt“, „denke schrittweise“ oder „erkläre deine Überlegungen detailliert“ lauten. Durch diese Aufforderung wird das Sprachmodell angewiesen, neben der eigentlichen Antwort oder der Lösung, die Abfolge der Zwischenschritte inklusive der Zwischenergebnisse auszugeben und zu erklären. Indem das Modell den Lösungsweg schrittweise darstellt, werden komplexe Probleme in kleinere, vom Modell besser zu bearbeitende Teile zerlegt. Vor allem bei großen Sprachmodellen führt das dazu, dass die Qualität und Genauigkeit der Ergebnisse steigt.

CoT-Prompting lässt sich in verschiedene Unterarten gliedern. Beim sogenannten Zero-Shot CoT erhält das KI-Modell neben der eigentlichen Aufgabenstellung lediglich die zusätzliche Aufforderung, den Lösungsweg schrittweise zu erklären. Noch bessere Ergebnisse und Leistungen erzielt man, wenn im Prompt zusätzlich einige Beispiele ähnlicher Aufgaben- oder Fragestellungen inklusive der schrittweise erklärten Lösungsfindung mitgegeben werden. Diese Art des CoT-Promptings wird auch als Few-Shot CoT bezeichnet. Dadurch, dass dem Sprachmodell im Prompt Beispiele ähnlicher Aufgaben inklusive ihrer Lösungen genannt werden, kommt es zum sogenannten In-Context Learning (ICL). Der Begriff des In-Context-Lernens beschreibt die Fähigkeit großer Sprachmodelle, während der Interaktion mit dem Anwender aus dem bereitgestellten Kontext zu lernen. Durch ICL lernen Sprachmodelle, neue oder sehr spezifische Aufgabenstellungen zu lösen oder Fragen zu beantworten.

In-Context Learning ist temporär und findet während des Inferenzprozesses statt. Das Erlernte ist nicht von Dauer und wird nach der Interaktion mit dem Anwender wieder „vergessen“. In-Context Learning führt im Gegensatz zum Training mit neuen Daten oder zum Finetuning nicht dazu, dass Parameter oder Gewichtungen des Modells angepasst oder verändert werden. Die Fähigkeit zum In-Context-Lernen beispielsweise per Few-Shot CoT ist stark von der Anzahl der Parameter und der Größe des Kontextfensters eines Sprachmodells abhängig.

Vorteile durch die Prompting-Technik Chain-of-Thought

Die Prompting-Technik Chain-of-Thought bietet zahlreiche Vorteile. Dadurch, dass das KI-Modell neben der eigentlichen Antwort oder Lösung auch die Gedankenkette des Lösungswegs mit ausgibt, wird die Lösungsfindung für den Anwender nachvollziehbarer und transparenter. Darüber hinaus ist belegt, dass vor allem bei großen Sprachmodellen durch das schrittweise Vorgehen die Leistungsfähigkeit sowie die Qualität und Genauigkeit der Ergebnisse steigen. Vor allem bei komplexen, mehrstufigen Problemen oder Fragestellungen aus Bereichen wie der Arithmetik, dem logischem Schlussfolgern, dem gesundem Menschenverstand oder dem symbolischen Denken lassen sich durch CoT-Prompting bessere Ergebnisse erzielen.

Das Nennen zusätzlicher Beispiele beim Few-Shot CoT aktiviert das In-Context Learning und verbessert die Leistung und Qualität der Ergebnisse der Modelle weiter und kann zusätzliches Finetuning oder Retraining überflüssig machen. Ein weiterer Vorteil ist, dass sich durch die Offenlegung des Lösungswegs Fehler oder Ungenauigkeiten in den Antworten leichter finden lassen. Durch entsprechende Anpassung des Prompts können Fehler korrigiert werden. Insgesamt steigt das Vertrauen in die Ergebnisse eines KI-Modells.

Anmerkung zum Thema Transparenz

Zum Abschluss noch eine Anmerkung zum Thema Transparenz. Durch das CoT-Prompting wird das Verhalten einer KI für den Anwender zwar transparenter und nachvollziehbarer, doch die Darlegung der Gedankenkette des Modells darf nicht darüber hinwegtäuschen, dass es sich nach wie vor um eine Black-Box-KI handelt. Die Transparenz ist oberflächlich und bezieht sich nur auf den Output einer konkreten Fragestellung. Einen tatsächlichen Einblick in die Deep-Learning- und Inferenzvorgänge des KI-Modells und seines künstlichen neuronalen Netzwerks erhält der Anwender nicht.

(ID:50184363)